按需注意力：语言模型知道何时回忆
🧭 长上下文高效推理 · 按需注意力
Southern University of Science and Technology · Peking University · Peng Cheng Laboratory
训练轻量 recall head 基于解码状态动态触发全局注意力，在保持性能的同时大幅减少长上下文全局读取
📌 工作参考价值（4 点）
- 在电商多轮 Agent / 长会话推荐场景，可采用 local-first + 轻量 recall head 的思路：先用局部注意力生成，仅在预测到当前步需要全局信息时触发全局注意力，降低长上下文推理成本。
- 借鉴「只训练 recall head、冻结基座权重」的做法：在不改动线上 LLM 主干的前提下，通过一个极小的辅助头提升注意力分配效率，易于迭代和上线。
- 工程实现上参考其 vLLM 的 GPU 端条件执行：把是否执行全局注意力的分支放在 GPU kernel 内，避免 CPU-GPU 同步，才能真正把减少的全局读取转化为实际解码加速。
- 若业务使用 hybrid-attention 或长历史序列建模（如用户长期行为、商品描述），该方法可迁移为对重要 step 的按需全局召回，降低推理耗时同时保持大部分效果。
注意力感知变换编码压缩 KV Cache
🧭 LLM 推理 · KV Cache 压缩 ★ 深度解读
Technical University of Munich · Technical University of Darmstadt · MIT · Harvard University · Red Hat AI
用白化变换与反向注水按注意力输出失真分配 KV cache bit，5.8x 压缩下近无损
📌 工作参考价值（4 点）
- 长上下文 LLM 推理服务里，KV cache 是大头成本；这套方法只需离线校准集做白化 + 全局 bit 分配，在线仅做 per-token 标量量化，无额外训练，适合快速接入 vLLM/TensorRT-LLM 的量化路径。
- 注意力感知权重可直接复用：key 通道用 q_c^2 加权，value 通道用 W_O 行范数加权；对重要通道多给 bit，尾部通道给 0 bit 等价低秩裁剪，比 uniform precision 更稳，尤其适合商品描述、多轮会话历史、Agent memory 等长上下文场景。
- 校准数据混合思路值得照搬：FineWeb 与 OpenR1-Math 各半，同时覆盖通用文本和推理链；电商场景可替换为商品描述/搜索会话/推理 trace 混合，避免只在通用语料上过拟合。
- 工程细节有复用价值：保留前 4 个 token 与最近 128 token 全精度，按 block 16 重量化；GQA 下按 head-group 做 token-wise max scaling；在更 aggressive 的 2-bit 预算下，attention-aware 分配相对 var-only 优势更明显，可做服务分层压缩。
ResKV：固定预算下通过残差缓存重构被忽略注意力贡献的KV缓存压缩
🧭 固定预算KV缓存压缩
University of Electronic Science and Technology of China
将KV缓存预算分为精确主缓存与紧凑残差缓存，同框归一化复原被丢弃token的注意力分子分母贡献，广泛提升长上下文性能。
📌 工作参考价值（3 点）
- 在电商推荐的长用户行为序列建模中，若使用LLM生成式推荐，KV缓存膨胀是瓶颈，可借鉴ResKV的残差缓存思路：保留核心token作为精确主缓存，用紧凑残差统计量重构被丢弃token的注意力贡献，从而在内存受限下保持长上下文的注意力完整性。
- 工程实现上，残差缓存的构建可通过离线验证决定每层每头的残差预算分配，解码时动态门控按query调整残差贡献，这种在线-离线协同策略可以迁移到推荐系统中的搜索/浏览长序列压缩，平衡效果与延迟。
- 残差缓存参与同一softmax归一化，而不是事后修正，这一设计确保注意力分数的分子和分母质量都得到恢复，相比简单的eviction或合并方法，对下游生成质量更友好，适合高精度要求的选品文案生成、个性化搜索词推荐等场景。
频率引导深度共享KV缓存压缩
🧭 长上下文LLM推理 · KV缓存压缩
Instituto de Investigación en Visión Artificial
推理时不需重训，通过频率分解与自适应模式分配压缩KV缓存，在长上下文任务中精度接近全缓存且实现3.9倍压缩
📌 工作参考价值（4 点）
- 对于利用长用户历史序列的推荐系统，可直接应用该技术压缩KV缓存，显著降低在线推理的显存和延迟
- 自适应分配压缩模式（共享深度/残差/精确）的思路可迁移到多任务推荐中的特征缓存管理，动态调整不同任务对历史状态的依赖
- 无需额外训练，适合快速集成到现有推理引擎，降低长上下文LLM在搜索、广告等场景的部署成本
- 低频分量共享策略可启发跨层特征融合设计，通过频域分解减少冗余缓存，提升工程效率
RoPE感知的KV缓存比特分配量化方法
🧭 LLM 推理 · KV cache 量化 · RoPE 感知比特分配 ★ 深度解读
Hong Kong University of Science and Technology · The Chinese University of Hong Kong · Xiaomi Corporation
将RoPE注意力下的KV缓存量化建模为按频率块分配比特的优化问题，用能量分数贪心分配显著减少查询-键logit误差并提升长文本性能
📌 工作参考价值（4 点）
- 部署长上下文LLM（如客服、历史行为分析）时，可借鉴RoPE分块的能量分布实现差异化比特分配，在相同压缩率下大幅减少关键信号失真，避免统一量化在低比特下的质量崩塌。
- 使用无标签的激活统计量（Q/K向量的2-范数）计算分块重要性，无需下游任务反馈，适合线上快速校准（仅需少量无标注前缀）。
- 工程实现参考：采用packed cache布局和融合attention核，直接解压缩到临时寄存器，避免物料化fp16 KV缓存，可有效降低显存带宽压力，使长上下文解码速度超过fp16基线。
- 方法的核心思路（按结构单元动态分配精度）可迁移至其他位置编码或特征交互场景，例如推荐模型中的特征域重要性差分量化。
仅索引一次：跨层稀疏注意力与共享路由
🧭 长上下文推理 · 稀疏注意力架构
Microsoft Research · Tsinghua University
在 KV 共享架构上复用路由索引，跨层共享 token 级 top-k 选择，以极低开销实现高精度稀疏注意力，大幅提升长上下文推理效率。
📌 工作参考价值（4 点）
- 长上下文推理效率优化：在电商搜索/推荐 Agent 中，需要处理大量历史对话或商品描述时，可借鉴 CLSA 的共享路由思路——使用 YOCO 类架构共享 KV 缓存，并让不同层复用相同的 top-k 路由索引，极大降低 token 稀疏注意力的路由开销，实现接近 block 稀疏的速度却能保持 token 级精度。
- 工程实现 trick：对于已使用 YOCO 或类似 KV 共享的 LLM 服务，只需额外实现一个跨层复用的 indexer，预填充时计算一次 token 级 top-k，解码时各层直接读取该索引进行稀疏注意力，几乎不增加额外成本，即可将长上下文解码吞吐提升数倍。
- Agent 多轮交互场景：当 Agent 需要在长多轮对话中维护完整上下文并频繁解码时，CLSA 能将 KV 缓存存储大幅减少（因子为数倍），并保持解码速度，同时质量几乎无损，适合部署在资源受限的在线服务中。
- 生成式推荐中的长序列生成：若用 LLM 生成个性化推荐理由或连贯的 item 序列，CLSA 可加速长序列的自回归解码，降低延迟，尤其适合对实时性要求高的推荐场景。